تایپ کردن و فرمت بندی فولدر robots.txt
این فولدر لهجه معمولی و شالوده ای دارااست که حتی کسانی که اپلیکیشن نویسی بلد نیستند میتوانند در طی بسیار کوتاهی تایپ کردن آن را حافظه بگیرند. این فعالیت اکثر وقت ها دربرگیرنده انتخاب صفحاتی میباشد که خزندگان نباید به آن دسترسی داشته باشند. این ها واژه و کلمه های همگانی می باشند که می بایست در تایپ کردن پوشه robots.txt کاربردی سئو در مشهد مدنظر داشته باشید:
User-agent: این کد اسم خزنده ای که میخواهید خطاب قرار دهید را معین می نماید. این بخش قادر است Googlebot برای خزندگان طبیعی گوگل، Bingbot برای خزندگان بینگ ، Rogerbot برای خزندگان MOZ و غیره باشد. کاراکتر * را می قدرت برای غرض قرار دادن کلیه خزندگان گزینه استعمال قرار بخشید.
Disallow: این راهبرد بوسیله مسیر دایرکتوری همانند /category دنبال میگردد تا به ربات ها بگوید مایحتاج وجود ندارد هر آدرسی که دراین قسمت وجود داراست را بخزند. نشانی های تکی همانند category/sample-page.html را می شود به یاری همین کد از دسترس ربات ها به دور نگه داشت.
Crawl-delay: این کد به ربات ها میگوید که مکث خزش یکسری میلی ثانیه بایستی باشد. مقدار این بخش اکثر اوقات بسته به اندازه تارنما و گنجایش سرورهای آن تغییر تحول پیدا می نماید.
Sitemap: این نصیب شرایط نقشه وبسایت را علامت میدهد.
فرض فرمائید شما ادمین یک وبسایت وردپرسی میباشید و میخواهید مطمئن گردید که برخی از صفحه های و صفحه های پویا هیچوقت در نتیجه ها موتورهای کاوش نشانه داده نخواهد شد. فولدر robots.txt شما ممکن میباشد اینگونه باشد:
خط اولیه به خیال کاراکتر * که در خویش دارااست تمامی خزندگان را خطاب قرار میدهد. این در حالیست که خط دوم معین می نماید که تمامی صفحاتی با آدرسی که مشتمل بر /wp-admin میباشند نباید خزیده شوند. خط سوم، به ربات ها میگوید که همگی صفحاتی با نشان پرسش نباید ایندکس شوند. نشانه پرسش و نماد های مساوی کاراکترهایی میباشند که در نشانی های پویا چشم میشوند. دقت داشته باشید که مورد نیاز وجود ندارد دامنه روت را به هنگام مشخص و معلوم کردن صفحه های و دایرکتوری هایی که میخواهید مسدود نمایید، دراین پوشه بگنجانید. Slug نشانی یا این که مسیر فولدر کافی میباشد.
شایسته ترین تمرینات و نکات
تمرینات زیادی وجود داراست که شمارا مطمئن می سازد تنظیمات پوشه robots.txt به صدق صورت گرفته و قادر است خلال تجارب کاربری بهتر، اثر مثبتی بر روی روند seo بگذارد. به دنبال بعضا از تمرینات اساسی را با هم مرور میکنیم:
هیچوقت پوشه txt را جایی به جز دایرکتوری روت آپلود نکنید. نباید اسم آن را تغییر تحول دهید. چنانچه ربات های کاوش نتوانند آن را در مسیر www.example.com/robots.txt پیدا نمایند، قوی نخواهند بود آن را بیابند و همین فرمان منجر می گردد فرض نمایند که تمامی صفحه ها جان دار در تارنما برای خزش آزاد میباشد.
اسم فولدر به حروف خرد و والا حساس میباشد. بیشتر خزندگان فایلی که با اسم robots.txt ساخته شده است را مختلف از فایلی با اسم robos.Txt میدانند. مطمئن گردید که اسم پوشه را با حروف خرد نوشته اید.
همان طور که پیش از این نیز ذکر کردیم، خزندگان بدخواه برخی از تایم ها خزش نشانی هایی که درین پوشه مسدود شدهاست را در حق تقدم قرار میدهند تا بتوانند نقطه ورودی به وبسایت بیابند. برای هدف های امنیتی میتوانید از تگ متای noindex به مکان این پوشه برای پیشگیری از ایندکس اینگونه صفحاتی به کارگیری فرمائید.
در برخی از مورد ها، وبمسترها شیوه نامه های disallow را به طوری می نویسند که به صورت غیر عمد بازدارنده از دسترسی ربات ها به پوشه های CSS و جاوا اسکریپت میشود. این عنصرها برای ایندکس باصرفه وب سایت بایستی خزیده گردیده و ایندکس گردند. وقتی که تک تک دایرکتوری را با این فولدر مسدود میکنید بایستی باور داشته باشید کهاین فولدر ها برای ربات های کاوش قابل دسترس میباشد.
صفحاتی که از ربات های کاوش بدور نگه داشته گردیده باشند تساوی لینک و پیوند را به صفحه ها داخلی و فرنگی که به آنها پیوند داده اند منتقل نمی کنند. درحالتی که میخواهید شیت ای را ایندکس نکنید ولی میخواهید تساوی پیوند را جابجایی دهید از تگ متای noindex, follow به کار گیری نمایید.
ذیل دامنه ها در بیشتر موتورهای کاوش تحت عنوان تارنما متفاوتی در حیث گرفته میشوند. این مورد بهاین معنا میباشد که فولدر txt در دامنه روت دراین تحت دامنه ها دنبال نخواهد شد. در واقعیت g-ads.org بایستی فولدر robots.txt متعدد تری از تحت دامنه اش به عنوان مثال seotools.g-ads.org داشته باشد.
شما میتوانید از روش ابزار robots.txt tester کنسول جستجوی گوگل، سالم فولدر خویش را بسنجید. کافیست بدین وب سایت بروید و به یاری این ابزار فولدر Robot.txt خویش را پژوهش کنید. درصورتی که پوشه صحیح شغل نماید، چیزی مشابه صورت پایین خواهید داشت:
تایپ کردن و فرمت بندی فولدر robots.txt
این فولدر لهجه معمولی و شالوده ای دارااست که حتی کسانی که اپلیکیشن نویسی بلد نیستند میتوانند در طی بسیار کوتاهی تایپ کردن آن را حافظه بگیرند. این فعالیت اکثر وقت ها دربرگیرنده انتخاب صفحاتی میباشد که خزندگان نباید به آن دسترسی داشته باشند. این ها واژه و کلمه های همگانی می باشند که می بایست در تایپ کردن پوشه robots.txt کاربردی سئو در مشهد مدنظر داشته باشید:
User-agent: این کد اسم خزنده ای که میخواهید خطاب قرار دهید را معین می نماید. این بخش قادر است Googlebot برای خزندگان طبیعی گوگل، Bingbot برای خزندگان بینگ ، Rogerbot برای خزندگان MOZ و غیره باشد. کاراکتر * را می قدرت برای غرض قرار دادن کلیه خزندگان گزینه استعمال قرار بخشید.
Disallow: این راهبرد بوسیله مسیر دایرکتوری همانند /category دنبال میگردد تا به ربات ها بگوید مایحتاج وجود ندارد هر آدرسی که دراین قسمت وجود داراست را بخزند. نشانی های تکی همانند category/sample-page.html را می شود به یاری همین کد از دسترس ربات ها به دور نگه داشت.
Crawl-delay: این کد به ربات ها میگوید که مکث خزش یکسری میلی ثانیه بایستی باشد. مقدار این بخش اکثر اوقات بسته به اندازه تارنما و گنجایش سرورهای آن تغییر تحول پیدا می نماید.
Sitemap: این نصیب شرایط نقشه وبسایت را علامت میدهد.
فرض فرمائید شما ادمین یک وبسایت وردپرسی میباشید و میخواهید مطمئن گردید که برخی از صفحه های و صفحه های پویا هیچوقت در نتیجه ها موتورهای کاوش نشانه داده نخواهد شد. فولدر robots.txt شما ممکن میباشد اینگونه باشد:
خط اولیه به خیال کاراکتر * که در خویش دارااست تمامی خزندگان را خطاب قرار میدهد. این در حالیست که خط دوم معین می نماید که تمامی صفحاتی با آدرسی که مشتمل بر /wp-admin میباشند نباید خزیده شوند. خط سوم، به ربات ها میگوید که همگی صفحاتی با نشان پرسش نباید ایندکس شوند. نشانه پرسش و نماد های مساوی کاراکترهایی میباشند که در نشانی های پویا چشم میشوند. دقت داشته باشید که مورد نیاز وجود ندارد دامنه روت را به هنگام مشخص و معلوم کردن صفحه های و دایرکتوری هایی که میخواهید مسدود نمایید، دراین پوشه بگنجانید. Slug نشانی یا این که مسیر فولدر کافی میباشد.
شایسته ترین تمرینات و نکات
تمرینات زیادی وجود داراست که شمارا مطمئن می سازد تنظیمات پوشه robots.txt به صدق صورت گرفته و قادر است خلال تجارب کاربری بهتر، اثر مثبتی بر روی روند seo بگذارد. به دنبال بعضا از تمرینات اساسی را با هم مرور میکنیم:
هیچوقت پوشه txt را جایی به جز دایرکتوری روت آپلود نکنید. نباید اسم آن را تغییر تحول دهید. چنانچه ربات های کاوش نتوانند آن را در مسیر www.example.com/robots.txt پیدا نمایند، قوی نخواهند بود آن را بیابند و همین فرمان منجر می گردد فرض نمایند که تمامی صفحه ها جان دار در تارنما برای خزش آزاد میباشد.
اسم فولدر به حروف خرد و والا حساس میباشد. بیشتر خزندگان فایلی که با اسم robots.txt ساخته شده است را مختلف از فایلی با اسم robos.Txt میدانند. مطمئن گردید که اسم پوشه را با حروف خرد نوشته اید.
همان طور که پیش از این نیز ذکر کردیم، خزندگان بدخواه برخی از تایم ها خزش نشانی هایی که درین پوشه مسدود شدهاست را در حق تقدم قرار میدهند تا بتوانند نقطه ورودی به وبسایت بیابند. برای هدف های امنیتی میتوانید از تگ متای noindex به مکان این پوشه برای پیشگیری از ایندکس اینگونه صفحاتی به کارگیری فرمائید.
در برخی از مورد ها، وبمسترها شیوه نامه های disallow را به طوری می نویسند که به صورت غیر عمد بازدارنده از دسترسی ربات ها به پوشه های CSS و جاوا اسکریپت میشود. این عنصرها برای ایندکس باصرفه وب سایت بایستی خزیده گردیده و ایندکس گردند. وقتی که تک تک دایرکتوری را با این فولدر مسدود میکنید بایستی باور داشته باشید کهاین فولدر ها برای ربات های کاوش قابل دسترس میباشد.
صفحاتی که از ربات های کاوش بدور نگه داشته گردیده باشند تساوی لینک و پیوند را به صفحه ها داخلی و فرنگی که به آنها پیوند داده اند منتقل نمی کنند. درحالتی که میخواهید شیت ای را ایندکس نکنید ولی میخواهید تساوی پیوند را جابجایی دهید از تگ متای noindex, follow به کار گیری نمایید.
ذیل دامنه ها در بیشتر موتورهای کاوش تحت عنوان تارنما متفاوتی در حیث گرفته میشوند. این مورد بهاین معنا میباشد که فولدر txt در دامنه روت دراین تحت دامنه ها دنبال نخواهد شد. در واقعیت g-ads.org بایستی فولدر robots.txt متعدد تری از تحت دامنه اش به عنوان مثال seotools.g-ads.org داشته باشد.
شما میتوانید از روش ابزار robots.txt tester کنسول جستجوی گوگل، سالم فولدر خویش را بسنجید. کافیست بدین وب سایت بروید و به یاری این ابزار فولدر Robot.txt خویش را پژوهش کنید. درصورتی که پوشه صحیح شغل نماید، چیزی مشابه صورت پایین خواهید داشت:
صفحه ها داخلی خود را به صدق طراحی فرمائید